Lưu Khứ là con trai thứ của Quảng Xuyên Mục vương Lưu Tề, vương chư hầu thứ hai của nước Quảng Xuyên và là cháu chắt của Hán Cảnh Đế. Trên ông còn có người anh là Lưu Văn, nhưng do vợ thứ sinh ra nên không được lập làm thái tử, mà ngôi thái tử thuộc về Lưu Khứ.

Năm 92 TCN, Lưu Tề bị quan lại triều đình nhà Hán tố cáo đại bất kính, do quá lo sợ mà bệnh chết. Nước Quảng Xuyên bị phế trừ. Được vài tháng, Hán Vũ Đế hạ chiếu rằng:

Quảng Xuyên Huệ vương[1] với trẫm có tình thủ túc, trẫm không nỡ phá bỏ tôn miếu, lấy cháu của Huệ vương là Khứ là Quảng Xuyên vương.

Sau đó chính thức sắc phong tước vương cho Lưu Khứ.

Theo Hán thư ghi nhận, Lưu Khứ là người giỏi về văn học, thông hạo nhiều sách như Dịch, Luận Ngữ, Hiếu Kinh..., lại giỏi võ nghệ và dùng kiếm song tính tình tàn bạo, tụ tập thiểu niên vô lại săn bắn và quật cổ mộ, trong đó có cả mộ của U vương nhà Chu, phát hiện nhiều đồ táng và mĩ nữ được tuẫn táng cùng, sau đó còn quật được mộ của tướng nước Tấn thời Xuân Thu là Loan Thư.